#Dense Reward

3 篇

CADENCE: Closing the Reasoning Gap via Coverage-Adaptive On-Policy Distillation

CADENCE：通过覆盖自适应在策略蒸馏弥合推理差距

🧭 LLM 推理蒸馏 · 在策略蒸馏

用覆盖自适应调度、分叉提升与稠密奖励等六个组件，在单台 Mac 上将 0.5B 学生推理提升 21%+

📌 工作参考价值（4 点）

DRIFT 与 COVA 的 token 级前向-反向 KL 切换：可迁移到业务小模型蒸馏，避免初期学生概率崩溃；在电商搜索 query 改写或推荐理由生成中，当学生模型输出分布与教师差距大时，可借鉴覆盖自适应的 β 调度，从 reverse-KL 逐步过渡到 forward-KL。
FTB（分叉 token 提升）：利用高熵 token 位置作为关键“决策点”集中梯度，类似在推荐 Agent 的推理链中，对不确定性高的步骤（如商品属性对比）加强学习信号，提升推理可靠性。
CCD 稠密奖励与部分正确反馈：将二元对错信号替换为数值相似度部分奖励，适合电商场景中候选商品排序或价格合理性判断等非严格 0/1 任务，可提高训练效率。
全在策略、单机可跑：蒸馏全程无需数据中心级别资源，64GB 统一内存的 Mac Studio 即可完成，适合中小团队快速迭代推理模型。

Training | 2026-07-17 | HF Daily | score 7/10

长周期终端基准：密集奖励检验长任务智能体极限

🧭 长程终端智能体评估 · 密集奖励

Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · Indiana University · Lehigh University

提出长周期终端基准LHTB，细粒度子任务与密集奖励评估智能体长程能力，最强模型仅15.2% pass@1

📌 工作参考价值（4 点）

子任务分解与密集奖励：在构建多步自动化 Agent（如广告优化、商品文案测试）时，可借鉴将复杂任务拆解为可评分的子任务，设计中间奖励信号，支持逐步改进和部分成功。
长上下文与记忆管理：任务平均消耗9.9M tokens，提示在实际Agent中需要处理超长上下文，可引入检索增强（RAG）或层次化记忆，避免关键信息遗忘。
迭代调试与容错机制：论文发现Agent失败多因环境错误和调试不足，业务系统应加入自动重试、错误恢复和环境状态检查，提升长流程稳定性。
过程性评估：从只看最终结果转向细粒度过程评估，帮助定位Agent瓶颈，适合用于评估复杂推荐或运营Agent的中间决策质量。

Eval | 2026-07-08 | HF Daily | score 6/10

ExpRL：探索性强化学习用于大语言模型中期训练

🧭 强化学习中期训练增强推理覆盖率

Stanford University · Carnegie Mellon University · OpenAI

ExpRL 利用人类解答作为奖励脚手架，通过稠密过程奖励在中期 RL 中提升推理覆盖率，优于 SFT 与稀疏奖励，为后续 RL 提供更好初始化

📌 工作参考价值（4 点）

用参考解答构建奖励脚手架，不暴露答案，让 LLM judge 对比过程给出稠密奖励，可自动化利用人工标注数据引导策略探索；在 Agent 多步决策（如多轮对话、搜索推荐解释）中，用少量理想路径作为参考，通过过程奖励强化有效推理链。
过程级奖励（ExpRL-Process）能对中间步骤反馈，适合长链路任务（如商品推荐中的多步推理），可设计类似 judge 机制对每一步给出信号，提升模型分解与自纠正能力。
中期训练作为 RL 预热：先用 ExpRL 在标注数据上提升覆盖率，再进行稀疏奖励 RL，可提高训练效率和最终性能；适用于推荐系统用用户反馈做 RL 微调前，先获得更好初始策略。
大量人工问答数据可不用于直接模仿，而作为奖励生成源，更充分利用数据；在电商客服、导购场景中，可收集人类对话构建奖励模型，训练更强的交互式 Agent。

Training | 2026-06-15 | cs.LG | score 7/10